2 流模型与扩散模型

在前一节中，我们将生成式建模形式化为从数据分布 中采样。此外，我们了解到，采样可以通过将来自简单分布（如高斯分布 ）的样本 转换为目标分布 的样本来实现。在本节中，我们将描述如何通过模拟适当构建的微分方程来实现所需的转换。具体而言，流匹配模型和扩散模型分别涉及模拟常微分方程（ODEs）和随机微分方程（SDEs） 。因此，本节的目标是定义和构建这些生成式模型，因为它们将在讲义的其余部分中使用。具体来说，我们首先定义常微分方程和随机微分方程，并讨论它们的模拟。其次，我们将描述如何使用深度神经网络对常微分方程 / 随机微分方程进行参数化。这将引导我们对流模型的定义，以及从这类模型中采样的基本算法。在后续章节中，我们将探索如何训练这些模型。

2.1 流模型

我们从定义常微分方程（ODEs)开始。常微分方程的解由一条轨迹（trajectory）定义，即形如以下形式的函数： 该函数将时间 t 映射到 空间中的某个位置。每个常微分方程由一个向量场（vector field） 定义，即形如以下形式的函数：

也就是说，对于每个时间 t 和位置 x，我们得到一个向量 ，用于指定空间中的速度（见图 1）。常微分方程给轨迹施加了一个条件：我们希望轨迹 X “沿着向量场 的方向”，从点 ​ 开始。我们可以将这样的轨迹形式化为满足以下方程的解： 方程（1a）要求 的导数由 给出的方向来指定。方程（1b）要求我们在时间 时从 开始。现在我们可能会问：如果我们在 时从 开始，那么在时间 t 时我们会在哪里（即 是什么）？这个问题由一个称为 流（flow） 的函数来回答，该函数是常微分方程的解： 对于给定的初始条件 ，常微分方程的轨迹可通过 恢复。因此，直观地说，向量场、常微分方程和流是对同一对象的三种描述： 向量场定义了常微分方程，其解就是流 。与所有方程一样，我们应该问问自己关于常微分方程的问题：解是否存在？如果存在，是否唯一？数学中的一个基本结论是，只要我们对 施加较弱的假设，对这两个问题的回答都是 “是”：

定理 3（流的存在性和唯一性） 如果 是连续可微的，且导数有界，那么方程（2）中的常微分方程有唯一解，由流 给出。在这种情况下，对于所有 t， 是一个微分同胚（diffeomorphism），即 是连续可微的，且其逆 也连续可微。

需要注意的是，在机器学习中，流的存在性和唯一性所需的假设几乎总是成立的，因为我们使用神经网络对 ​ 进行参数化，而它们的导数总是有界的。因此，定理 3 对你来说不应是个问题，而应是个好消息：在我们感兴趣的案例中，流是常微分方程的存在且唯一的解。证明可参见 [20, 4]。

示例 4（线性向量场） 让我们考虑一个简单的向量场示例 ，它是 x 的简单线性函数，即 （其中 ）。那么函数： 定义了一个流 ，它求解了方程（2）中的常微分方程。你可以通过验证 并计算：

其中（i）处我们使用了链式法则。在图 3 中，我们可视化了这种形式的流，它以指数形式收敛到 0。

模拟常微分方程（Simulating an ODE） 一般来说，如果 不像线性函数那么简单，就无法显式地计算流 。在这些情况下，人们会使用数值方法（numerical methods）来模拟常微分方程。幸运的是，这是数值分析中一个经过充分研究的经典课题，存在多种强大的方法 [11] 。其中最简单且最直观的方法之一是欧拉方法（Euler method） 。在欧拉方法中，我们用 初始化，并通过以下公式更新： 其中 是步长超参数， 。对于本课程，欧拉方法已经足够好用。为了让你感受一下更复杂的方法，让我们考虑亨恩方法（Heun’s method） ，其更新规则定义为： 直观地说，亨恩方法的工作原理如下：它首先对下一步可能的状态做出一个初始猜测 ，但会通过更新后的猜测来修正最初采取的方向。

流模型（Flow models） 现在我们可以通过常微分方程构建生成式模型。记住，我们的目标是将简单分布 转换为复杂分布 。因此，模拟常微分方程是实现这种转换的自然选择。流模型由以下常微分方程描述： 其中向量场 是一个带有参数 的神经网络 。目前，我们将把 视为一个通用的神经网络，即一个带有参数 、形如 的连续函数。稍后，我们将讨论神经网络架构的特定选择。 我们的目标是让轨迹的终点 具有分布 ， 即： 其中 描述了由 诱导的流。不过需要注意：尽管它被称为流模型， 但神经网络对向量场进行参数化，而不是对流进行参数化 。为了计算流，我们需要模拟常微分方程。在算法 1 中，我们总结了从流模型中采样的过程。

2.2 扩散模型

随机微分方程（SDEs）通过随机轨迹（stochastic trajectories）扩展了常微分方程的确定性轨迹。随机轨迹通常被称为随机过程（stochastic process） ，其定义为：

• 对于每个 ， 是一个随机变量
• 是每次抽取 X 时的随机轨迹

特别地，当我们两次模拟同一个随机过程时，由于动态设计是随机的，可能会得到不同的结果。

布朗运动（Brownian Motion） 随机微分方程是通过 布朗运动（Brownian motion） 构建的，布朗运动是从物理扩散过程研究中产生的基本随机过程。你可以把布朗运动看作是连续的随机游走。让我们来定义它：布朗运动 是一个随机过程，满足 ，轨迹 是连续的，并且满足以下两个条件：

1. 正态增量（Normal increments）：对于所有 ，，即增量具有高斯分布，方差随时间线性增加（ 是单位矩阵）。
2. 独立增量（Independent increments）：对于任意 ，增量 是相互独立的随机变量。

布朗运动也被称为维纳过程（Wiener process） ，这就是我们用 “W” 表示它的原因。我们可以用步长 近似模拟布朗运动，方法是设置 并通过以下公式更新： 在图 2 中，我们绘制了布朗运动的几个示例轨迹。布朗运动在随机过程研究中的核心地位，就如同高斯分布在概率分布研究中的地位一样。从金融到统计物理再到流行病学，布朗运动的研究有着超出机器学习的广泛应用。例如，在金融领域，布朗运动被用于对复杂的金融工具进行建模。而且，作为一种数学构造，布朗运动也很有趣：例如，虽然布朗运动的路径是连续的（所以你可以画它而无需提笔），但它们是无限长的（所以你永远画不完）。

从常微分方程到随机微分方程（From ODEs to SDEs） 随机微分方程的思想是通过添加由布朗运动驱动的随机动态，来扩展常微分方程的确定性动态。因为一切都是随机的，我们不能再像在方程（1a）中那样使用导数。因此，我们需要找到常微分方程的等价表述，使其不使用导数。为此，我们将常微分方程的轨迹 重新表述如下： 其中 描述了小 时的可忽略函数，即满足 ，并且在（i）处我们只是使用了导数的定义。上面的推导只是重新表述了我们已经知道的内容： 常微分方程的轨迹 在每个时间步，都会沿着 方向迈出一小步。 现在，我们可以修改最后一个方程，使其具有随机性：随机微分方程的轨迹 在每个时间步，会沿着 方向迈出一小步，再加上来自布朗运动的一些贡献： 其中 描述扩散系数（diffusion coefficient） ， 描述随机误差项，使得当 时，标准差 。上面的式子描述了一个随机微分方程（SDE） 。通常用以下符号表示： 然而，要始终记住，上面的 “” 符号只是方程（6）的一种非形式化表示。不幸的是， 随机微分方程不再有流映射 了。这是因为 的值不再由 ​ 完全确定，因为演化本身是随机的。 不过，与常微分方程类似，我们有：

定理 5（随机微分方程解的存在性和唯一性）

如果 是连续可微的，且导数有界，并且 是连续的，那么方程（7）中的随机微分方程有一个解，由唯一的随机过程 ​ 给出，满足方程（6）。

如果这是一门随机微积分课程，我们会花几个讲座来证明这个定理，并以完全严格的数学方法构建随机微分方程，即从基本原理出发构建布朗运动，并通过 随机积分（stochastic integration） 构建过程 。由于本课程聚焦于机器学习，若需更专业的技术推导，可参考 [18] 。最后，注意到常微分方程也可视为扩散系数 ​ 的随机微分方程特例（此时随机项消失）。因此，在本课程后续内容中，提及随机微分方程时，会将常微分方程视为其特殊情况。

示例 6（奥恩斯坦-乌伦贝克过程） 考虑扩散系数 为常数，且漂移项 （ 为常数），得到如下随机微分方程： 上述随机微分方程的解 被称为奥恩斯坦-乌伦贝克（OU）过程 。我们在图 3 中对其可视化。向量场 会推动过程回归到中心 0（形象地说，“我往哪个方向推，它就总往反方向走” ），而扩散系数 会不断为其添加噪声。当模拟时间 时， 该过程会收敛到高斯分布 。注意，当 ​ 时，就退化为我们在方程（3）中研究过的、具有线性向量场的流模型。

模拟随机微分方程（Simulating an SDE） 如果你目前对随机微分方程的抽象定义理解困难，别担心。有一种更直观的思考方式，就是回答 “如何模拟随机微分方程” 这个问题。最简单的模拟方案是欧拉-马里亚纳方法（Euler - Maruyama method） ，它对随机微分方程的意义，就如同欧拉方法对常微分方程的意义。使用欧拉 - 马里亚纳方法，我们用 初始化，然后通过以下公式迭代更新： 其中 是步长超参数， 。简而言之，用欧拉 - 马里亚纳方法模拟时，我们先沿着 方向迈出一小步，再添加一小部分由 缩放的高斯噪声。在本课程相关实验（如配套实验课）中模拟随机微分方程时，我们通常会采用欧拉 - 马里亚纳方法。

扩散模型（Diffusion Models） 现在，我们可以像构建基于常微分方程的生成式模型那样，构建基于随机微分方程的生成式模型。记住，我们的目标是将简单分布 转换为复杂分布 。与常微分方程类似，用 随机初始化后模拟随机微分方程，是实现这种转换的自然选择。为了对该随机微分方程进行参数化，我们可以简单地对其核心要素 —— 向量场 —— 用神经网络进行参数化。

因此，扩散模型可表示为：

在算法 2 中，我们描述了用欧拉 - 马里亚纳方法从扩散模型中采样的过程。我们将本节内容总结如下。

总结 7（随机微分方程生成式模型） 在本文档中，扩散模型由带有参数 的神经网络 构成，该网络对向量场进行参数化，同时还有一个固定的扩散系数 ：

神经网络： ， ，带有参数

固定项： ，

为了从我们的随机微分方程模型中获取样本（即生成物体），过程如下：

初始化： ，用简单分布初始化，如高斯分布

模拟： ，模拟从 0 到 1 的随机微分方程

目标： ，目标是让 服从分布

当 时，扩散模型就是流模型 。

3 构建训练目标

在前一节中，我们构建了流模型和扩散模型，通过模拟常微分方程 / 随机微分方程得到轨迹 ，形式如下： 其中 是神经网络， 是固定扩散系数。显然，若随机初始化神经网络参数 并模拟常微分方程 / 随机微分方程，结果会毫无意义。与机器学习常规流程一致，我们需训练神经网络，通过最小化损失函数 （如均方误差 ）实现： 这里 是我们期望逼近的训练目标 。推导训练算法分两步，本章先推导训练目标 的方程，下一章描述逼近该训练目标的算法。和神经网络 类似，训练目标本身应是向量场 且需实现我们期望 达成的功能：将噪声转换为数据。因此，本章目标是推导训练目标 的公式，使对应的常微分方程 / 随机微分方程能将 转换为 。过程中会涉及数学物理和随机微积分的两个基本结论：连续性方程（continuity equation） 和福克 - 普朗克方程（Fokker - Planck equation） 。与之前一致，我们先针对常微分方程描述关键思想，再推广到随机微分方程。

说明 8

推导流模型和扩散模型的训练目标有多种方法。我们介绍的方法兼具通用性与简洁性，与当前最先进模型接轨，但可能和你之前见过的扩散模型的旧表述不同。后续会讨论其他形式。

3.1 条件概率路径与边缘概率路径

构建训练目标 的第一步是指定概率路径（probability path） 。直观而言，概率路径定义了从噪声分布 到数据分布 的渐进插值（见图 4 ）。

本节解释其构建方式。对于数据点 ，记 为狄拉克 delta “分布” ，它是最简单的分布，采样时始终返回 z（即确定性分布 ）。条件（插值）概率路径 是 上的一组分布 ，满足： 换言之，条件概率路径将单个数据点逐步转换为分布 （见图 4 ）。可将概率路径视为分布空间中的轨迹。每个条件概率路径 会诱导出边缘概率路径（marginal probability path） ，其定义为：先从数据分布采样数据点 ，再从 采样得到的分布，即： 需注意，我们知道如何从 采样，但由于积分难以计算，无法得知密度值 。自行验证：因方程（12）中对 的条件限制，边缘概率路径 在 和 间插值：

示例 9（高斯条件概率路径） 一种极为常用的概率路径是高斯概率路径 ，也是去噪扩散模型采用的概率路径。设 为噪声调度器（noise schedulers） ：两个连续可微的单调函数，满足 且 ​ 。定义条件概率路径： 根据对 和 施加的条件，有： 这里利用了 “方差为 0、均值为 z 的正态分布就是 ” 这一事实。因此，对 ，该 选择满足方程（12），是有效的条件插值路径。高斯条件概率路径具备若干实用性质，与我们的目标高度契合，因此在本节剩余部分，将其作为条件概率路径的典型示例。在图 4 中，展示了其在图像上的应用。从边缘路径 采样可表示为： 直观来看，上述过程在 t 较小时添加更多噪声，直到 ​ 时，仅剩下噪声。在图 5 中，展示了高斯噪声与简单数据分布间的此类插值路径示例。

3.2 条件向量场与边缘向量场

接下来，利用刚定义的概率路径 构建流模型的训练目标 。思路是从可手动解析推导的简单组件构建 ​ 。

定理 10（边缘化技巧）

对每个数据点 ，设 为条件向量场（conditional vector field） ，定义为：对应的常微分方程轨迹满足条件概率路径 ，即： 那么，边缘向量场（marginal vector field） 定义为： 它遵循边缘概率路径，即： 特别地，对该常微分方程，有 ，因此可称 “将噪声 转换为数据 ” 。

在证明边缘化技巧（定理 10 ）前，先说明其有用性：该定理允许我们从条件向量场构建边缘向量场，大幅简化了寻找训练目标公式的问题，因为我们通常可手动解析推导（通过简单代数运算）满足方程（18）的条件向量场 。以高斯概率路径的示例，推导对应的条件向量场 来说明。

示例 11（高斯概率路径的目标常微分方程） 如前所述，设 ，其中 是噪声调度器（见方程（16） ）。记 ， 分别为 和 对时间的导数。在此，我们要证明由下式给出的条件高斯向量场（conditional Gaussian vector field） ： 是定理 10 意义上有效的条件向量场模型：若 ，其常微分方程轨迹 满足 ​​ 。在图 6 中，通过对比条件概率路径的真实样本与该流的模拟常微分方程轨迹样本，直观验证了分布匹配。现进行证明。

图 6 对定理 10 进行了可视化说明：用常微分方程模拟概率路径。蓝色背景为数据分布 ，红色背景为高斯分布 。第一行：条件概率路径。左：条件路径 的真实样本；中：常微分方程随时间的样本；右：用方程（21）中的 模拟常微分方程得到的轨迹。第二行：模拟边缘概率路径。左：边缘路径 的真实样本；中：学习到的边缘常微分方程的样本；右：用边缘向量场 模拟常微分方程得到的轨迹。可见，条件向量场遵循条件概率路径，边缘向量场遵循边缘概率路径。

证明：先定义条件流模型 ，令： 若 是初始值 时， 对应的常微分方程轨迹，根据定义： 由此得出，轨迹的分布与条件概率路径一致（即满足方程（18） ）。接下来，从 中提取向量场 。根据流的定义（方程（2b) ），有： 其中（i）处使用了 的定义（方程（22) ）；（ii）处对 x 重新参数化，令 ；（iii）处进行了简单代数运算。最后一个方程就是方程（21）中定义的条件高斯向量场。这就证明了该结论。也可通过将其代入本节后续介绍的连续性方程，双重验证是否满足定理 10 。

本节剩余部分将通过连续性方程（continuity equation） 证明定理 10，连续性方程是数学和物理中的基本结论。为解释它，需用到散度算子（divergence operator） ​ ，定义为：

定理 12（连续性方程）

考虑一个流模型，其向量场为 ，且 。那么，对于所有 ， 当且仅当： 其中 表示 对时间的导数 。方程 24 被称为连续性方程 。

对于有数学基础的读者，附录 B 中给出了连续性方程的自包含证明。在继续深入之前，让我们尝试直观理解连续性方程。左侧的 描述了概率 随时间的变化情况。直观地说，这种变化应该对应于概率质量的净流入。对于流模型，粒子 沿着向量场 运动。正如你可能从物理知识中回忆到的，散度衡量了向量场的净流出。因此，负散度 衡量了概率质量的净流入。用当前位于 x 处的总概率质量对其进行缩放，得到 ，它衡量了概率质量的总流入。由于概率质量是守恒的，方程左右两侧应该相等！现在，我们从定理 12 出发来证明边缘化技巧。

证明：根据定理 12，我们需要证明如方程（19）所定义的边缘向量场 满足连续性方程。我们可以通过直接计算来做到这一点： 其中：